Đầu đời Tống, tổ tiên của Bá Ôn dời từ Tam Cù [1], Chiết Giang đến Cát Châu làm quan, nhân đó định cư ở Cát Thủy. Ông nội là Siêu, làm Quảng Tây tri phủ.

Năm Chánh Đức thứ 2 (1507), Bá Ôn trúng Cử nhân, năm sau đỗ Tiến sĩ, thụ chức Thiệu Hưng phủ Thôi quan.

Năm thứ 6 (1511), được cất lên làm Ngự sử, sau đó làm Tuần án Phúc Kiến, Hà Nam, ở nơi nào cũng có tiếng tốt.

Minh Thế Tông lên ngôi, luận tội chết bọn Trung quan (tức hoạn quan) Trương Duệ, Trương Trung, đồng đảng Tiêu Kính, Vi Nhu ngầm trì hoãn. Bá Ôn xin giết bọn Kính, Nhu, khí thế của hoạn quan chùng xuống.

Đầu thời Gia Tĩnh, được thăng làm Đại Lý tự thừa. Được cất lên làm Hữu thiêm Đô ngự sử, rồi làm Tuần phủ Ninh Hạ.

Liên lụy vụ án Lý Phúc Đạt, bị kết tội phạm sai lầm khi làm việc ở Đại Lý tự, chịu lột chức về làng. Được nhận lại quan chức cũ, dự định điều đi Sơn Tây, rồi Thuận Thiên, nhưng đều chưa lên đường, thì được đổi làm Lý viện sự, tiến chức Tả phó Đô ngự sử.

Bị Phụ quốc tướng quân Chu Hữu Oản là người tông thất ở Triệu vương phủ bới móc án cũ, tố cáo ông có tư thù với mình, nên phải cởi quan đợi tra xét. Xong, được khôi phục quan chức.